package com.yanggu.spark.core.rdd.transform.doublevalue

import org.apache.spark.{SparkConf, SparkContext}

//双Value类型-Union算子
object RDD13_Union {

  def main(args: Array[String]): Unit = {

    //1. 创建sparkConf配置对象
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("spark")

    //2. 创建spark上下文对象
    val sparkContext = new SparkContext(sparkConf)

    //3. 从内存中创建RDD
    val dataRdd1 = sparkContext.makeRDD(List[Int](1, 2, 3, 3 ,4, 5, 6, 2), 6)

    val dataRdd2 = sparkContext.makeRDD(List[Int](2, 2, 3, 4 ,51, 51, 6), 6)

    //4. union
    //将两个RDD的数据竖着拼接。不进行任何去重操作
    val value = dataRdd1.union(dataRdd2)

    //5. 打印
    println(value.collect().mkString(", "))

    //6. 释放资源
    sparkContext.stop()
  }

}
